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SftTT ATT URSEUJa; 



TEKypsiCTQMEABB ^ . is s t 

Ftticliggande uppfinnlng avser ctt stttt att urskflja en sttkt objcktkontur 1 en digital 
mikroakopbild enligt krav 1. Med uppfinningen avses fiven ctt motsvarande arrangcmang 
enligt krav 5 ochett digitatt lagringsmedium innofanande ctt motsvarande datorprogram 
enligt krav 6. 

UPPFINNINQENS BAKGRUND 

MSnniskors bled innehfiUer r5da blodceller, trombocyter och vita blodceller. I medicuiska 
tiliampningar Sr det ofta av imresse att klassa de vita blodcellerna till ciika tjugo olika 
underklasser och att uppskatta fttrdelningen far dessa undexWasser hos enskilda patenter. 
Traditionellt kan denna klassning gdras pi eit arbctsamt sUti genom att en xnSnsklig expert 
tittar i oknlaien i ctt ljosmikroskop och dMrigenom stoderar blod som strakits ut p& ctt 
objektglas. K3as9ningcn kan ocksfi, fast med fine uisldljbara underklasser, gdras mcd en sft 
kallad cellraknare dftr utsp&tt blod, cell fttr cell, passerar genom en smal fttrtrSngning i en $SL 
kallad flOdescel). Vid passagen genom flSdesccllen mats paiametrar s&som elektrisk itnpedans 
och ljnsspridning, vilka sedan ligger till grand f»r cellrflknarens klassificering av den aktnella 
vita blodcellcQ, 

De senaste irons utveclding inom bildanalys bar gjort det mSjligt att producera automatiska 
ljusmikroskop som kan sdka av etc blodutstryk efter vita blodceller, autofokuscra p& dem, 
spara vfflfokuserade ceDbilder, utf&ra automatisk segmentering av de erhfillna ceUbildema, 
berlikna sJc "features 0 * (egenskapcr) fiJr vaije segmentcrad cellbild samt slutligen klassificera 
varje enskild funnen vit blodcell baserat pi informationen i de ber&knade "features 0 . 

Segmentering 8r att deia upp innchflllet i en bild i olika regioner. I faUet vita blodceller Sr det 
OnskvSrda resultatet att vita blodceller separeras frfin de andra objekten i bilden sflsom 
bakgrund, rflda blodceller, trombocyter, sfcrap och si klart frfin Svriga vita blodceller. Det kan 
dessutom vara onskvSrt att segmenteringen skiljer p& den vita blodcellens cellkSrna och dess 
cytoplasms 

Den huvudsakliga anlcdningen till att segmentera ut de enskOda cellema och deras delar Sr att 
det f»r n&rvarande inte finns nigra tillrgckligt snabba och fimgerande metoder fbr att 
klassificera utan den uppdelning av bildinfonnationen som segmenteringen irniebBr. 

Acceptabla segmenteringsresultat kan ibland erh&llas genom sa kallad binSr trdskling, vilket 
innebSr att vaije bildelemem, aven kallat pixel, i cellbilden hanteras utifr&n om dess intensitct 
ar Over eller under en trttskelintensitet. Tr5skeliniensiteien kan vara lokal eller global, d.v,s. 
konstant 5ver hela bilden. 



Bn uppenbar nackdel med bmSr trdskling Br att den objektkontur som erhalls Sr kSnslig fbr 
vSrdet pa vald trflskelintensitet, tex. da belysningsfothiUandena varierar inom en cellbild. 
Dessutom tar trSskling varken hSnsyn till form eller s.k- icke-lokal information, d.v.s. hur 
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objektet ser ut en bit frfin den sokta konturen. Btaar trtskltagkan darfBrresulteralaii 
mtillisgaiide objekt inte separerae utan segmenteras sftsom ett objokt eller art ettobjekiimea 
en urspiungHg mjuk, rondad kontur ger en kantig kontur efter segmenteringen. BinHrtrOskling 
kan avon resultera i att ett ursprungiigt objekt segmenteras sftsom flera. DHrfbr anvands bin&r 
troskling och mer forflnade troskllngsmetoder oftast endast aom en inledande operation i mer 
kraftfolla segmenteringsmetoder. 

Aktiva konturmodeller ir en klaas av metoder som sedan lange anvands for segmentating av 
bilder Med de aktlva konuinnetodemauppskattas objektets kontur direkt istaUet for via viDca 
bildelement som tfflhor objektet. sftsom sker med crbskling. Alia aktiva konturmodeller 
anvander nagot slags kontur som itcrativt, under segmenteringens gang, andrar sig under 
inverkan av s.k. interna krafter som harror frin kooturen och dess form samt av sJt. externa 
krafter som harror fran Widen och dess innehaU av framforalU kantinformation. 

Ett sfitt att ta tram kantinformation ur bilder ar att berakna sa kallade gradientbilder. Detta 
innebar i korthet att de stolen i Widen dar intensiteten andres mycket till beloppet pa en 
stracka motsvarandc ett fatal bildelement fir atora gradlentvarden. Kanter Us bra exempel pa 
sadant som ger upphov till stora gmdientvfirden. Chadientbildema kan sedan efterbehandlas 
for att filtrera bort isolerade stora varden, troll gtvis orsakade av skrap eller smft dettdjer, och 
for att framhava l&nga samroanhangande str&k av stora varden, troligtvis orsakade av kanter 
hos det sokta objektet och andra objekt En bild dar bildelementens varden utgors av nagon 
form av gradientvarden, i form av radata eller efter behandling, kallas nedan for kantblld. 

De aktiva modcllemakan delas i tva grupper. Den forsta groppen ar geometriska modeller 
sftsom "Level Sets" och "Fast Marching '-metoder. Konturen representeras av mangden 
bestfiende av kontnrena bildelement Birdelen med detta ar ail konturen kan anta godtyckliga 
former. Iteradonerna innefattar operadoner pa konturens bildelement och dessas respective 
narmaste grannar. Eftersom konturen kan ha godtyckliga former Hr det relativt kompUcerat 
och berakningstungt att h&Ua reda pa alia konturens bildelement. deras grannar och deras 
inbordes lagen. 

Den andra grappen av aktiva konturmodeller ar parametriska modeller sftsom "snakes'* 
(engelska for orm, nedan kallad snake), se artikeln "Snakes: Active contour models," 
International Journal of Computer Vision, 1(4): 321-331, 1987, av Kass, WiUdn och 
Terzopoulos. En snake ar en parametrisk konturmodell. Parametrama i modellen kan tex. 
vara positionema hos homen hos en polygon, men oftast ar modellen mer avancerad tex. 
genom att den bestar av sammanfogade krokta koaturelement Snakens interna krafter stravar 
efter att ge en mjuk kontur roedan de externa kraf tenia stravar efter att lata konturen passcra 
naxa manga av de bildelement som innehailcr kantinformation. Under segmenteringens gang 
..".:* kommer cn snakebaserad algotitm att iterera position och form hos snaken tills en god 
: kompromiss - forhoppningsvis den bttst passande konturen - mellan interna och externa 

! : . krafter hittas. Genom att jnstera upp de interna krafternas betydelse kan formen hos den 
--.: sluOiga konturskattningen bli mer eller urindre bcgrSnsad till cirkellika objekt Pa 

motsvarandc sStt kan man genom att justera upp de externa kraftem as betydelse fa den 

. slutliga konturskattningen till att bli mera orcgelbunden. Eftersom snaken representeras av ett 

begransat antal pararoetrar sa ar dess mbjliga former inskrankta. FOr vita blodceHer, som har 
:*•.: relativt regelbundna konturer, ar dennainskrankning sallan till nagon nackdel. Snarare ar det 

en fardel att snaken kommer att ha cn regelbunden form even i de fall dar objektets kontur 
" - * * * framtrader svagt i cellbilden och det darter blir relativt langt mellan de bildelement som ger 
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kantinformation. Dessutom kommer dot begrfinsade antalet parametiti^toWa^" 0 " 
beraknlngabehovet under Itcrationerna minskar jftmfOn mcd en geometrisk modell. 

Om snaken sStts igang nam den s6kta konturen, s& kommer den formodUgen att konwrgera 
sSkert och mod fa iterationer. En sidan igangsSttnmg kan vara Wtt for en mBnsklig operator 
men sv&r att astadkomma genom automntisk bildanalys. Dtoftr kommer antomattok 
seementering att krfva att snaken kan sWtas igfing relativt Mngt fran den solcta objektkontoren 
menfinda konvergera bade sHkcrt och snabbt. Det kravet leder i sin tur till kravet att snakens 
externa krafter mfiste kunna leda snaken rttt liven fran bfldelement som ligger Ifingt frtoden 
onskade konturen. For att vara anvandbara som lndata till en snake bOr de externa kraftema 
helt enkelt, ftr varie bildelement i origtaalbilden, peka mot bUdelement med hSgre 
kantinformation, d.v.s. stone kantlikhet. Dfirfttr ar det lfimpligt att anvtodabentonmngen 
vektorkraftfalt flir de externa kraftema som funktion av lfiget i cellbilden. 

Btt kSnt sStt att erh&lla ett vektorkraftfalt ar att la on kantbild med vSrden f (x.y), som beror pa 
xespekdve bildelcments x- och y-kooidlnater, och sedan diffcnsnsbilda f(x,y) med avseende pa 
x respektive y. Differensbildningama kan nil exempel definieras av 

f_X(x,y)=f(x+l.y>-f(x-l,y) (ekv. 1) respektive 

ily(x,y>f<x,y+lH(x,y-l) (ekv. 2). 

Det da erhfillna vektorkraftfaltet lf_x(x,y),f_y(x,y)3 fir ett exempel pa ett yttre kraftfjUt. Btt 
sadant vektorkraftfalt bar som storsta nackdel att det snabbt ovtar i storlek nfir koordmatema 
(x,y) avlfigsnar sig fran de punkter som har f(x,y) skild fran noli. Saledes fungerar ett sadant 
vektorkraftfalt inte speciellt bra di snaken stttts igang reladvt lftngt fran den sokta 
objektkonturen. 

Ett kfint satt att ftrsoka fSrbattra avstandsverkan hos vektorkraftfaitet ovan ar att smeta ut 
kantbilden, fore eller efter differensbildningon med t.cx. ett tvadimentsionellt gaussiskt filter, 
men det kan ge andra problem s&som att detaljer kan bli mindre tydliga. 

GradientvektorflOdesmctoden ar en metod som astadkommer ett statiskt extemt 
vektorkraftfalt, ett s&kaUat GVF-falt (Gradient Vector How Field), berfiknat pa basis av en. 
exempejvis som ovan, differensbildad kantbild hmehallande information om den sokta 
objektkonturen. (Se exempelvis examensarbetsrapportcn "Segmentation of Histopathological 
Tissue Sections Using Gradient Vector Flow Snakes", Matematikcentrum, Lands Universitet 
och Lands Tekniska Hogskola, 18:e mars 2002, av Adam Karlsson eller originalreferensen 
"Gradient vector flow: A new external force for snakes," IEEE Proceedings on Computer 
-* *' Vision and Pattern Recognition, Puerto Rico, pages 66-71, 1997 av Xu och Prince). 

• 

: • Ett GVF-falt uppfyller kravet att vara ett extemt vektorkraftfalt som leder snaken i ran 
- : riktning Sven fran stora geometriska avstand fran den 6nskade konturen. En snake som 
-r-- : anvfinder ett GVF-falt kallas nedan en GVF-snake. GVF-faltei berSknas da cn gang per 
. segmentering - i inledningen av densanuna. Sadana segmenteringmetoder fir redan kanda. 

• " " : I examensarbetsTapporten av Adam Karlsson ovan beskrivs vidare ett snabbt satt att iterera 
snakens parametrar, d.v.s. hur snakens position och form itereras pa basis av GVF-faltet. I 
rapporten konstateras att tidsprestanda bos en GVF-snake, som anvSnder delta snabba satt att 
iterera parametraroa, kommer att vara begransad av tiden det tar att berakna GVF-faltet 
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Det traditionella berakningssfittet for OVP-flflt enltgt Xu och Prince innehaller fterativ loaning 
av 

HAu-<u-l_X)(Ot 2 + Cy 2 )^ (ckv.3)och 
jiAv-<v-Ot)(Oi 2 + Ly*>=0 (dev. 4), 

dar A 8r den s& kaUade Laplaceoperatorn - ctt slags tvadimensionell andra ordningens ^ 
differonsbildningoperator - och dBr u Ur en parameter som kan behova justeras beroende pa 
applikationen. d.v.a. vilket slags objekt det Ur och i vilkeu omgivning de finns. 

Berticningen av GVF-ffiltet Lanebftr alt ett vektorkraftfalt [fJc(x,y),Cy(x,y)] med begtilnsad 
avstandsverkan ger upphov till ett annat vektorkraftfalt - GVF-Mtet, [u(x,y),v(x,y)l - med 
fotbattrad avstandsverkan fast man alt dcta^jcr gftr fdrloradc. Indata till berBknmgen kan anses 
vara tv& bilder, f_x respektive f_y, och utdata kan anses vara tva andra bilder, u respektive v. 

Att lttsa ekvationema 3 och 4 krftver ett betydande antal iterationer for att ldsningen ska 
konvergera. Om det intressanta omradel kring objektet i originalbilden tar upp m ganger n 
pixlar sa kommer dessutom respektive ckvationssamband att inneh&lla m ganger n ekvationcr, 
vilkct leder till att lika manga obekanta, vilket fbr bilder Wit bllr tiotusentals obekanta, ska 
uppdateras vid varje iteration. 

Det Br ingot ovanUgt att traditlonell berSkning av GVF-faitet, med en 1GHz PC-processor, tar 
flcra tiondels seknnder per cellbild. For en analys av 200 vita blodceller motsvarar det en total 
segroenteringstid pa uppemot en minut, vilkct begr&nsar prestanda hos existerande 
aulomatiska ljusmlkroskop s&vida inte extra, fbrdyrande, h&rdvara infers. 

SftMMANFATTNTNO av TjppFOTSffiNQEN 

Bit syfte med fbreliggande uppfnnring Or att helt eller delvis avhjalpa ovan nfimnda problem. 

Detta syfte uppnas med ett satt att urskJlja en sOkt objektkontnr ur en digital rrakroskopbild 
enligt krav 1, med en motsvarande arrangemang enligt krav 5 och digitalt lagringsmedhnn 
Innefattande ett datorprograro enligt krav 6. 

Narmare bestamt avser uppfinningen da, enligt en forsta aspekt, ett sfitt att urskilja en s5kt 
objektkontur ur en digital mikroskopbild, som innefattar ett flertal bOdelement och avbildar 
biologiskt material. Sattet kannetecknas av stegen: att atminstone en forsta delmangd av 
blldelementen i bilden tilldelas kantvarden, att atminstone en andra delmangd av 

- bildelementen i bilden tilldelas vSrdcn pa en fbrsia gradientvektorkomponent vars vSrden 

; vardera innefattar en forstalinjerkombinationavkantvarden hos n&gra omgivande 

blldelement, att atminstone en tredje delmangd av bildelementen i bilden tilldelas varden pa 

* en andra gradientvektorkomponent vars varden vardera innefattar en andra linjarkombination 

av kantvarden hos nigra omgivande bildelement; och att utifran varden pi den fflTSta och den 
andra gradientvektorkomponenten berakna en uppskattning av den sokta objektkonturen. 

Ett sadant sUtt bar visat sig ge ett snabbt beraknat approximaiivt GVF-fSlt, hedan kallat 
AGVF-fait. Berakningen av AGVF-faltet gbrs s4 an, fastfin det resulterande AGVF-faltet 
avviker nagotfran dettraditionellaGVF-fffltet, scgmenteringsresultaien for vita blodceller 
: \- visar sig Mi i stort sett opaverkade. Med ett satt enligt uppfinningen kan saledes ttden for 
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anvandnins av snakes med OVF-egenskaper i seginenteringen I ett axSffi^^^rodcop 
^g^edng i kommersieuTa^mariakt avsOkande mflcroskop for analys av v«a blodceller . 

FOr andra applikationer an vita blodceller kan AOVF anvtadas som dot ar .f « 
ac^erera,Lex. genom att hoppa Over, dc inledande iterationerna i en tiaditionell GVF-motod. 

Med en andra aspekt av uppfinnmgen avses ett arrangemang for nreki«nhig en ^ 
obiektkontux ur en digital ndkroskopbild, som innefattar ett fleital budeiement och avbildar 

/^mangTkMnnctccknas av: medel fOr att till en Onto delmangd av 
bUdelementen i bilden tilldela kantvarden, medel for att till en andra delmangd av 
bUdelementen i bilden Olldela vilrden pa en fOrsta gradientvektorkoinponent v^dera 
innefattande en fOrstalinjarkombinadoD av kantvarden bos nigra omgivande wldelement, 
medel for att till en tredje delmangd av bUdelementen i bilden tiUdela v&den pa en andra 
gradientvektorkomponent vardera innefattande en andra linjarkombinanon av kantvarden hos 
nigra omgivande bildelement; ocb medel Or attutifrin varden pa den fOrsta och andra 
gradientvektorkomponenten berakna en uppskattnlng av den sokta objektkonturen. 

Arrangemanget innebSr motsvarande fOrdelar som satiet och kan ftven varieraa 1 likhet med 
detta. 

Mcdentiedje aspekt av uppfinningen avses ett digital! lagrlngsmedium innefattande ett 
datorprogiam for urskUjning av en sOkt objektkontur ur en digital mikroskopbild, som 
innefattar ett flettal bildelement och avbildarbiologiskt material. Lagringsmediet 
kahnetecknas av Instruktioner motsvaraode stegen: att atminstone en fOrsta delmangd av 
bUdelementen i bilden tilldelas kantvarden, att atminstone en andra delmangd av 
bUdelementen i bilden tilldelas varden pi en f&rsta gradientvektorkomponent vara varden 
vardera innefattar en fOrsta linjarkombmation av kantvarden hos nigra omgivande _ 
bildelement, att atminstone en tredje delmangd av bUdelementen 1 bilden tilldelas varden pa 
en andra gradientvektorkomponent vars varden vardera innefattar en andra lmjSrkombination 
av kantvarden hos nigra omgivande bildelement; och an utifrin varden pa den fOrsta och den 
andra gradientvektorkomponenten berakna en uppskattning av den sOkta objektkonturen. 

Datoiprogrammet inneb&r motsvarande fOrdelar som sattet och kan Even varteras i likhet med 
detta, 



K.ORT FIGTJRBESKR1 . - 

Fig la och lb visar en digital griskalebUd av en vit blodceU omgiven av bakgrund, rOda 
biodceller och en trombocy t. Bilden at ett exempel pi vad som avses med en cellbfld. 



Fig 2 visar en preliminar uttrOskling av den vita blodcellens cellkSma. 

Fig 3 visar en kantbild dar de mOrkaste omridena 8r mOjlig ceUkontur och dar de ljusaste 
omridena ar sfidant som troHgrvis inte Ur ceUkontur. 

Hg 4 visar med pilar ett ur kantbilden erhSllct approximate GVP ffflt Overlagrat pi fig 3 fOr 
jamfOrelse. 

Fig 5 visar en mOjlig frOkonturtill en snake - namligen det si kallade konvexa Wfljet av den i 
fig 2 preliminart uttrOsklade cellkfiman. 
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Fig 6 visar den uppskattade objektkonturen da segmenteringen Br Uar mod cytoplasm an, 
cLv.8. ccllkontuien. 

Pig 7 visar den uppskattade ccllkonturen frfin fig 6 tDlsammana mod den uppskattade kootnren 
hos cellkfiman. 

Figur 8a och 8b visar ett arraogemang enligt uppfioningen. 

Figur 9 visar ett flodesschema tor ett fbrfarande enligt uppfinningen. 

MttCTTVNIMQ AV FftREDRAGNA UTFflMNOSFORMER 

En vit blodcell bestar, ur segmenteringssynpunkt, av tv& delar - cellkfiman 22 och den 
omgivande cytoplasman 21 . Segmenteringsresnltaten for do tvfi delarna Br till visa beroende 
av varandnc 

For att med automatisk bildanalys kunna klara au hitta grfinsen mellan cytoplasma och 
bakgmnd trots nfirvaro av intilliggande celler, markerade med R och T i fig lb, s& Br det bra 
att kunna starta snaken frfin en sft kallad frbkontur som Br belt inuti ccllcn. DBrfbr ttnskar man, 
& ena sidan, att ha tillgfing til) en uppskattning, t.ex. en segmentering, av cellkfiman som sic 
frSkontur for snaken. 

Fttr att f&rcnkla segmenteringen av cellkfiman sfi fir det, & andra sidan, bra att ha tillgfing till 
en bfld dBr det bara finns cytoplasma och cellkaraa kvar- d.v.s. frfin en bild dfir ceDen redan 
fir segmenterad frfin bakgranden och intilliggande celler. For att undvika att fastna i en iterativ 
process s& anvands i en fbredragen utforingsform en preliminBr segmentering av cellkfiman, 
se fig 2, vilken duger gott tor findamfilei 

I en foredragen utfiJringsform gors ett antal deloperationer utgfiende frfin en ursprunglig 
ceUbfld som, liktbilden i fig la, mneh&ller den vita blodcell vars konmr och kfiraa soks. Fig 
8b ger en dversikt av hur medel motsvarande dessa deloperationer kan fcrhMla sig till 
var andra. 

PRELIMINAR SEGMENTERING AV KARNAN 

I deloperationen motsvarande 83 berSknas en preliminSr segmentering av kSman for att 
fistadkomma en frdkontur till cn snake. Fig 2 visar iesultatet hos en sfidan preliminSr 
segmentering. Denna preliminara segmentering gors med hjfilp av kBndabinfira 
triJsklingsmetoder pi toretrBdesvis gr6n ffirgkomponent hos den ursprangliga cellbilden eller 
evenmellt p& en viktning av grim och bla ffirgkomponent 

BERAKNING AV KANTBILDEN 
—-' I deloperationen motsvarande 84 berSknas vSrden hos en kantbild tfll exempel genom 
• : - • : gradicntbildning av cellbilden med efterfbljande bearbetnmg sfi att endast de starkaste 
. kantema kommer med. Se de morkaste omrfidena i fig 3. 

: P - - : I kantbi lden kan vidare den preliminara kfirnan fftretradesvis finnas med sAsom en "anti"-kant 

. - - - " med negativa kantvarden - se de ljusaste omrSdena i fig 3- s& via kommer kantbilden nar 

[ " • : AGVF-fSltet beiaknats alt ha tillfSrt inform ationcn att den sOkta cellkonturen befinner sig 

t utanfSr cellkfiman. 
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I en tbredragen utforingsform arkantbilden trinar, d.v.s. dess clcr^t bar tec mbjliga vfcden, 
eTvanS^t (1). flr karna (-1) och ctt varde Mr Sr Uvea mbjligt 

att lata kantvardena och karnvardcna awika ohka mycket fran ttviigtvardet. 

pet ar intc nttdvandigt att berakna kaotbildens famehaU for alia bildelement hos ceUbUden. 
Dei racker med att berakna den for en oingivning runt den preliminBrt "g^^f^ 0 
cScarnan dfir omgivningen ar sft stor att en vit blodcell med stor sakcrhet ffc pla^^om att 
intc arbeta med storre kantbild fin vad som behovs fbr an kmma hitta objek^Xontur. sa 
spans bertknlngsoperationer framforallt i saraband medbertkning av AGVF-fOtet. 

Det at fttrdelaktigtatt valjakantbilden till att vara kvadratiak med en sidlfingdsom at en jamn 
tvapotens eftersom Fourieriransfonnerna nedan berfflciias mesl -f^SiSSSiSSSi 
medbjalp av den vatkanda snabba Fouriertransforrnen, FFT. En sidan kvadratisk kantbild ar 
exerapel pft en fOrsta delmfingd av bildelement 

bbstamning av snakefro ,. teWi(Ml 

I deloperationen motsvarande 85g<Jrsen bestamning av en frSkontur med data frta en 
deloperation motsvarande 83 som indata. For segmenting av vitablodceller anvands 
fbretradesvis det sakalladekonvexaholjet av den prelhninart segmenterade karrian. Med 
konvext hotfe avses en mangd bildelement med konvox kontor och som innenaller alia de 
bildelement som tillhttr den pteliminHart segmentBrade kaman. Se tig 5. 

BERAKNING AV KOMPONENTEKNA I AGVF-FALTET .... _ 

I deloperationen 86 beraknas vfirden for komponentema 1 AGVF-faltet med kantbilden fran 
en deloperation motsvarande 84 som mdata. Beraknmgama kan ske pa mmst tva pnncipiellt 
skilda stilt. 

I det forsta sattet differensbildas forst kantbilden, vfflcct fbretrfldesvis sker enligt ekvationerna 
1 och 2 ovan. 

Darefter tar sjffl va AGVF-berfikningen vid. I enlighet med uppfinningen beraknas AGVF- 
faltet genoro ISsning av 

uAu-(u-Oc) l«0 (ekv.5)och 

|jAv-(v-f_y) -1=0 (ekv.6), 

dar A ar den sa kallade Laplaceoperatorn, ett slags wadimensionell andra ordrdngens 
..'X' differensbildningoperator, vilken fbretradesvis beraknas geoom tvadhnensionell flittering 

: med 3x3-matrisen 

..:*r o i o 

L = 1 -4 1 



0 I 0. 
Ekvationerna 5 och 6 kan di skrrvas ora till 
(nL-l)*u=>-f_x (ekv. 7) respective 
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(ul^l)*v=-f_y (bkv. 8), 



Huwdfoun Kcmon 



dar symbolen * itmebfir s& kallad faltmngsoperation mellan 3x3-raatrisen (yL-1) och mxn- 
bildema o respektive v. Dennn omskiivntog Br nyckeln till anabbheten i don foreliggande 
AOVF-motoden. Dot fir ctt vfflkttnl faktum att falmlng i samband mcd Fourieitransfbnn 
bvergar i elementvis muWplikation och omvfint mneh&llet i 3x3-matiiseri ar alltsA en viktning 
av ctt LaplacefUter och ctt enhetsfiltcr. 

En s idan omskrivning Br into mojlig i samband mod den tradionella GVF-metoden p.g.a. att 
faktorn (f_x 2 + fLy 2 ). som varierar Over bllden, flans mcd i ekvationema 3 ocb 4. 

Ekvationema 7 och 8 gar ate lGsa snabbt mha den snabba Fouriertransfonnen, EFT. 
Komponenterna u och v hos AGVF-faltet lean pa sa sfitt, explicit, fas genom sambanden 

u ■ -F'[F(f_x)./F(ftt^l)] (ekv. 9) respektive 

v « - F ! lF(f jr)7P(ML-D] (ekv. 10). 

dar F betecknar den tvadimensionella diskreta Fouriertransfonnen, F 1 bctecknar motsvarande 
inversa Fouriertransform ocb J betecknar elementvis division i frekvcnsplanet. 

Sa Hmge n fir konstant sa kommer varken VitfLA ) eller 1 J F(|iL-l) att variera varflJr hela 
delresultatet U F(uL-l) kan lagras Iftr att ytteiiigare snabba upp beraknlngama. 

LSmpliga vfirden pa u kan vara nigot tiotal. Vilka vfirden som ar bSst beror pa bl.a. dc sokta 
objekten, objektivets fttratoring, cellstorleken och kamerans pixelstorlek. Det ar lampligt att 
bestfimma u genom att cxperimentera med ctt antal cellar under manuell S vervakning av 
segmenteringen. 

Som framgar av ekvationema 9 och 10 sa fir berfikningarna av u och v linjara operationer pi 
f_jt respektive f_y, vilka i sin tor kommer av linjara differen sbildningsoperationer pa f. DSrfor 
kan man, cnligt en andra mojlig berakningsprincip, for sadana kantbilder dSr den numeriska 
stabiliteten tillater det, kasta om ordningen pa cUfferensbUdning och filtrering och spara 50% 
av berfikningsfitgangen for Fourierlransformoperatiooerna. Btt sadant silt att berfikna AGVF 
bestar av operationema: 

w = - F 1 [F(f)./F(jiL-l)] (ekv. 1 1), 

u_w(x,y) = w(x+l,y>w(x-l,y) (ekv. 12) samt 

v_w(x,y) = w(x,y+l)-w(x,y-l) (ekv. 13), 

dfir beteckningama n_w och v_w valts for att betona att AGVF-faltets tvi komponenter 1 det 
fallet berfiknats fran ctt gemensatnt filtrcringsresultat, w. 

Eftersom Laplaceoperatorn bar en viss geometrisk utstraknmg sa fir det inte sjfilvklart att 
AGVF-faltets komponenter fir anvSndbara eller ens giltiga anda ut i kanterna hos kantbiiden. 
Darfor kan de mangder av bildelement. den andra respektive tredje delmangden av 
bildelement, som far anvSndbara vfirden pa AGVF-faltets komponenter vara nfigot mindrc an 
den fbrsta delmangden. 
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Det fir inte nttdvindigt alt anvitnda sig av ettrttvtaWlgt ^^^^^^^ 1 
nnkroskopbflden, i kantbilden eller i AO VF-faltct, men d«t underiattar i berSkningarna. 

I en fbredragen ntfbringsform gttis dessutom en notmaUsering av ^Bdeteineijt^ 
beTopp^os AGVF-fa^sV se ftitet i fig 4. En sfidan nornialbering syfterttU ,m faniaMva 
riSgen hos den externa vektorkraftfilltet. vilket 8r den vfctigaste mfbtmationen Or 
snakealgoritmen. 

BERAKNINO AV UPPSKATTN1NOEN AV DEN SOKTA CELLKONTUREN 

I deloperarionen motsvarande 87 uppskattas den sokta cellkonturen utifrfin frOkontitf frfin en 
deloperation motsvarande 85 och AGVF-ftliet frRn en deloperation motsvarande 86. 
UppScattnlngen bertknas fiteettSdeavis med hjSJp av en snake, <Lv.s. med en paramettiak 
konturmodell. som det beskrivs i den ovan nltamda cxamensarbetsrapporten. Se fig 6. 

BERAKNINO AV SLUTLIO SEGMENTERING AV KARNAN 

I dcloperationen motsvarande 88 bertknas, di sa onskas, en skattnmg av sluflig karakontur. 
Dettakan ske med en metod som arbetar bascrat pa den skattade cellkonturen frtn en 
deloperation motsvarande 87. Se fig 7. Btt mdjligt s«tt Br att anvfinda sig av en linjar 
transformation fran ceUbUdens tre filrgkomponenter till tv& transfonnerade tttgkomponenter 
och en granslinje i planet fbrdetvi transfonnerade ftrgkompontarna. Transformationen ocb 
srfinslinjen bar di foietradesvis tagits fram i forvBg genom experiment pa handsegmenterade 
celler dfir savHl transformation som grSnslinje optimerats for att pa basta sfin klassa 
cytoplasmaelement och kanxelement till iespektive klass. Experimenten kan bebova gores om 
f»r varje ny typ av infdrgnmg av de vita blodcellerna. Ett annatmojligt sBtt 8r att 
deloperarionen adaptivt fOrandrar transformaticmen och/eller grflnslinjen for att folja 
infargnmgsvariaiioner genom maximera den spatiala homogeniteten bos de btldelement som 
hfinforts till respektive klass. 

SEGMENTERINGSRESULTAT 

Segmenteringsrestthaiet ftan en deloperation motsvarande 89 bestfir av cellkonturen, 
k&mkonturen och ceHbilden. Genom att anvanda respektive kontnrer kan hela cellen, eller 
cytoplasman och k&rnan var for sig eih&llas som segmenterade bllder. 

Fig 8a visar ett system med ett arrangemang enligtuppfiimingen. Delia system innefattar ett 
digitalt mikroskop 81 . som Sr kopplat till ett datorsystem 82. Det digitala roikroskopet 81 
levererar digitala mikroskopbilder i gr&skala eller flirg till datorsystemet 82. Visa i digital 
. .:■* bearbetning av de digitala bildema kaa f»ieg& att de levereras till datorsystemet 82. 

: Datorsystemet 82 kan vara mtegterati mikroskopet81. 

Datorsystemet 82 mnefattar medel 83 - 89 for attuttbrade steg som ingar i det ovan visade 
segmenteringsfOrfarandeL 



Det ingar da ett medel 83 for att utifrfin en digital cellbild valja en mangd av bfldelement som 
troligtvis Mr cellkameelcment. Detta models utsignal Sr en indikering av vilka bUdelement som 
valts i Widen, jfr fig 2. 
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Vidare ingftr ctt model 84 fttr att utifr&n don digitala cellbilden och frfin utdata frfln model 83, 
fttr en mBngd bildelcmcnt som fttmfmatonc innefaitar da mod medel 83 utvalda bildelementen, 
berBkna kantvHrden. Detta models utsignal Br en kantbild, jfr fig 3. 

Vidare ingftr ett medel 85 fttr att utifr&n utdata fr&n medel 83 , bestflmma en frttkontur . Detta 
medels utsignal Br frokonturen, jfr fig 5. 

Utsignalen ftftn medel 84 matas till ett medel 86 som, fttr de bildelement som ingfir i 
kantbildcn, berifcnar vflrden bos komponetema i ett approximate GVF-fMlt Utsignalen frfin 
medel 86 Br vSrdena hos de tv4 komponentema i GVF-fBltet. 

Utsignalerna fr&n medel 85 och 86 matas till ett medel 87 som med en snake-metod 
uppskattar objcktkonturcn, vilket ttven utgOr medlets utdata. 

Med medel 88 kan, baserat pft den digitala cellbilden, utdata frftn medel 87 samt en 
fHrgtranformation och en grfinslinje. vilka Br fixa eller adaptivt fttrBndrade, en slutlig 
uppskattning av cellkttrnan best&mmas. Utdata frftn medel 88 utgttrs av den uppskattade 
cellkSman- 

Medel 89 kan, baserat p& den digitala cellbilden och utdata frSn medlen 87 och 88, framstBHa 
delbilder av cell, cytoplasma och ceUkSroa. Utdata ugttrs av delbildenta, vilka sedan kan 
analyseras vidare i pfi. segmenteringen fttljande bildanalysoperaiioner, s&som "feature* - 
berSkning och klassning med artificiella neurala nStverk. 

OvannSmnda medel 83-89 kan allmfint utgttras av datoxsystemet, fttrsett med ett datoxprogram 
fttr utfttrande av steg enligt sfittet- Detta datorprogram kan lagras separat p& ett digitalt 
lagringsmedium. Det Br emelleitid Bven mSjligt att realisera Stminstonc en del av ovan visade 
medel i hftrdvaruform, exempclvis spm ASIC- eller FPGA-kretsar. 

Det Br Bven mttjligt att utfora berSkningssteg distribuerat. Segmenteringsfttrfarandet behttver 
inte ske pi plats vid mikroskopet. Hela eller delar av fttrfarandet kan utfttras cxempel vis i en 
Internet-server, belBgen pi avst&nd frfin mikroskopet. 

Fig 9 visar ett flodesschema fttr ett siitt 90, enligt uppfinningen, att urskilja ett sttkt objekt i en 
digital bild. 

I ett fttrsta steg 91 bestSms vBrden hos elementen i en kantbild. 

I ett andra steg 92 ber&knas vBrden hos komponentema i ett AGVF-Mt 

. .IV I ett tredje steg 93 bestSms en frttkontur. 

I ett fjBrde steg 94 uppskattas den s5kta objektkonturen p& basis av AGVF-fSltv&rdena och 
frSkontureu fttretrBdesvis med hjalp av en snake. 



Uppfinningen kan anvBndas till annat Bn segmentering av vita blodceller, till exempel till 
segmentering av enskilda cellkarnor vBvnadsutsnitt. 
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Krav 1 : Stttt att urskijja en sbkt objektkontur or en digital mikroskopbild, som innefattar ett 

flertal bildelement och avbildar biologiakt material, kanneteeknat av stegen 

. att atminstone en forsta delmangd av bildelementen i bildcn tilldelas kantvMrden 

- att atminstone en andra dehnSngd av bUdelementen i Widen tilldelas varden pi on fBrsta 
gradientvektorkomponent vars varden vardera innefattar en fBrsta linjarkombination av 
kantvarden hos nigra omgivande bildelement 

- att atminstone en tredje delmangd av bildelementen 1 Widen tilldelas varden pa en andra 
gradientvektoikomponent vars varden vardera innefattar en andra linjarkombination av 
kantvarden hos nigra omgivande bildelement 

-att utifr&n varden pa den fbrsta och den andra gradientvektorkomponenten berBkna en 
uppskattning av den sdkta objektkonturcn 

Krav 2: Satt enligt krav 1 kanneteeknat av att den forsta och den andra linjarkombinationen 
vardera motsvarar, i godtyckling ordning, en fUtrering i bildplanet med ett 3x3-filtcr samt en 
differembildning i varsin riktning i bildplanet 

Krav 3: Satt enligt krav 2 kanneteeknat av att 3x3-ffltret motsvarar en flittering med en 
viktning av ett Laplaccfilter och ett enhctsfilter. 

Krav 4: Satt enligt nagot av kraven 1-3 kOnnetecknat av att den fBrsta och andra 
linjarkombinationen berSknas genom med hjfflp av Fonrieitransfonn. 

Krav S: Airangcmang for urskiljning en sbkt objektkontur ur en digital mikroskopbild, som 
innefattar ett flertal bildelement och avbildar biologiskt material, kOnnetecknat av: 
-medel ffir an till en fbrsta delmangd av bildelementen i bilden tilldela kantvarden 
-medel f5r att till en andra delmSngd av bildelementen i bilden tilldela vSrden pi en fbrsta 
gradientvektorkomponent vardera innef attandc en forsta linjarkombination av kantvarden hos 



-model fi5r att tffl en tredje dolman gd av bildelementen i bilden tilldela varden p& en andra 
gradientvektorkomponent vardera innefattande en andra linjarkombination av kantvarden bos 
nigra omgivande bildelement 

-medel fBr att utifrfin vfirden pi den fdrata och andra gradientvektorkomponenten berSkna en 
uppskattning av den sttkta objektkonturen. 

Krav 6: Digjtalt lagringsmedium innefattande ett datoiprogram f5r urskiljning av en s6kt 
objektkontur ur en digital mikroskopbild, som innefattar ett flertal bildelement och avbildar 
biologiskt material, kanneteeknat av instruktioner motsvarande stegen: 

- att Atminstone en fSista delmSngd av bildelementen i bilden tilldelas kantvarden 

- ait atminstone en andra delmSngd av bildelementen i bilden tilldelas varden pi en fttrsta 
gradientvektorkomponent vars vSrden vardera innefattar en fbrsta linjarkombination av 
kantvarden hos nigra omgivande bildelement 

- att atminstone en tredje delmSngd av bildelementen i bilden tilldelas vSrden p& en andra 
gradientvektorkomponent vars varden vardera innefattar en andra linjarkombination av 
kantvarden hos nigra omgivande bildelement 

-att utifr&n varden pi den fBrsta och den andra gradientvektorkomponenten berakna en 
uppskattning av den sdkta objektkontnren 
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Uppfinningen avser ettsattatt urakilja cn sOkt objoktkontur or en digital nrikroakopbild, som 
innefattar ett flcrtal bildelement och avbildar biologiskt material. SSttct kannetecknas av 
stegeo: an atminstone en fonta delmMngd av bilde tementen 1 bilden tUldelas kantvarden, att 
atminstone en andra delmangd av bildelementen i bilden tilldelas varden pa en f&rsta 
gradlentvcktorkomponent van varden vardera inncfattar en forsta lHijHricombinatian av 
kantvarden hos nigra omgivande bildelement. att atminstone en tredje delmangd av 
bildelementen I bilden tilldelas varden pa en andra gradientvektorkomponent van varden 
vardera inncfattar en andra Unjarkombination av kantvarden hos nigra omgivande 
bildelement; och att ntifran varden pa den f&rsta och den andra gradientvektorkomponenten 
berakna en nppskattning av den sokta objektkonmren 
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